Pershing sinh ra ở một trang trại gần Laclede, Missouri, để kinh doanh John Fletcher Pershing và người nội trợ Ann Elizabeth Thompson. Ông nội của Pershing, Frederick Pershing, tên ban đầu là Pfersching, di cư từ Alsace, rời Amsterdam trên con tàu Jacob, và đến Philadelphia vào ngày 2 tháng 10 năm 1749. Mẹ của Pershing là gốc Anh. Ông cũng có năm anh chị em: anh em James F. (1862-1933) và Ward (1874-1909), và chị Mary Elizabeth (1864-1928), Anna May (1867-1955) và Grace (1867-1903); ba đứa trẻ khác đã chết ở tuổi thơ ấu[7][8][9]

Khi cuộc nội chiến bắt đầu, cha ông đã ủng hộ Liên minh và là một người lính gác cho Tiểu Đoàn Tình Nguyện Tình Nguyện Missouri lần thứ 18. Pershing đã theo học một trường học ở Laclede dành cho những học sinh có tài năng sớm, cũng là con của những công dân nổi tiếng. Tốt nghiệp trung học năm 1878, anh trở thành giáo viên của những đứa trẻ người Mỹ gốc Phi.

Trong khi theo đuổi sự nghiệp giảng dạy của mình, Pershing cũng học tại Trường Trung học Quốc gia (nay là Truman State University) tại Kirksville, Missouri, từ đó ông tốt nghiệp năm 1880 với bằng cử nhân về khoa học về sư phạm.[10][11] Hai năm sau, ông nộp đơn lên Học viện Quân sự Hoa Kỳ. Pershing sau đó thừa nhận rằng phục vụ trong quân đội chỉ là ưu tiên thứ hai sau nhập học tại West Point, và ông đã áp dụng vì giáo dục cung cấp là tốt hơn so với có thể có được ở vùng nông thôn Missouri.